Joseph Marie Clemens Dall’Abaco era hijo del compositor Evaristo Dall’Abaco. Estuvo estrechamente relacionado con el elector Joseph Clemens de Baviera, quien más tarde se convirtió en el padrino del hijo de Dall'Abaco. Joseph recibió sus primeras lecciones de música y violonchelo de su padre.

Edición discográfica de obras de Joseph Marie Dall'Abaco

En su juventud realizó un viaje de estudios a Venecia y al norte de Italia desde Munich. Después de que no hubo vacante para él en Munich, fue nombrado violonchelista de la corte electoral de Bonn por el elector Clemens August von Bayern en 1729. En 1738 fue nombrado director de música de cámara y consejo electoral. En 1740 realizó una gira por Londres y varias otras ciudades inglesas.

En 1749 interpretó una pieza de concierto para cinco violonchelos en Viena. Su tiempo en la corte de Bonn terminó abruptamente en 1752 cuando su cuñado, el comisionado de guerra Peter Cosman, se escapó con el cofre de guerra. También se ha registrado otro episodio. El 1 de diciembre de 1752, el elector Clemens August recibió una carta anónima. En esta, dall'Abaco era acusado de planear un ataque con veneno contra el elector durante un próximo viaje a Baviera. Se llevó a cabo una investigación judicial entre el 8 y el 19 de enero de 1753. Al final de la investigación, no se pudo encontrar al autor anónimo de la carta ni se pudo probar la culpabilidad de Dall'Abaco. Entonces Dall'Abaco prefirió mudarse a Verona, la ciudad natal de su padre.

Hacia 1765 fue a Arbizzano di Valpollicella donde pasó el resto de su vida. El 22 de septiembre de 1766 fue galardonado con el título de barón por el elector bávaro.
En su tiempo, Dall'Abaco era más conocido como violonchelista, escribió alrededor de 40 sonatas para violonchelo que se interpretan en el estilo galante, tienen sin embargo numerosos elementos barrocos que adoptó de su padre. Falleció a los 95 años de edad.